AWS re:Invent 2024の3日目（現地日付12/4）のアップデートまとめてみた #AWSreInvent
2024.12.06こんちには。
データ事業本部 インテグレーション部 機械学習チームの中村( @nokomoro3 )です。
みなさま、re:Invent 2024楽しんでいますか？
連日アップデートが多すぎて追いきれない！乗り遅れてしまった！
そんな方のために現地日時12/4に発表されたアップデートについて本記事でまとめていきます。（キーノート以外も含みます！）
私は現地参加しない「エア」re:Invent勢ですが、本記事が現地参加の方やその他の「エア」参加の方の参考になれば幸いです。
なお、一定のカテゴリにまとめていますが、筆者の主観によりカテゴリ分けを決めてしまっていますので、悪しからずご了承ください。
また先行して速報ブログや、やってみたブログが書いてあるのもについてはそちらを大変参考にさせて頂いております。
それでは、紹介していきます。
（なお過去分は以下から参照くださいませ）
トピック
- Bedrock Marketplaceで自前やサードパーティーの言語モデルをBedrockでも使用可能に
- Bedrockのベース機能としてプロンプトキャッシュやインテリジェントルーティングなど欲しかった機能が追加
- Knowledge BasesにGraphRAG、Kendra GenAI Indexなど連携したかったデータストアが対応
- これに伴いKendraの安価なエディションが追加
生成AI・機械学習 (Bedrockモデル)
poolside AssistantがAmazon Bedrockで近日公開
poolside Assistantは、poolside社が提供する大企業向けの最新のソフトウェアエンジニアリングの課題を解決するアシスタントです。
このアシスタントは生成モデルとしてmalibuとpointを搭載し、コード生成、テスト、文書化、高度なコンテキスト認識によるリアルタイムのコード補完などが可能です。
malibuとpointは、RLCEF（コード実行フィードバックからの強化学習）を使用して学習され、コーディングタスクのパフォーマンスを継続的に向上することも可能となっています。
- DevIO
- プレスリリース
- サービスページ
Stable Diffusion 3.5がAmazon Bedrockで近日公開
Stable Diffusion 3.5は、Stability AIが2024年10月に発表した新しい画像生成モデルです。
もともとStable DiffusionはBedrockで使用可能でしたが、最新のバージョンも近日中に使用可能となるようです。
- DevIO
- Stability.aiのページ
Luma AI社のモデルがAmazon Bedrockで近日公開
Luma AI社は動画生成のモデルを開発している企業で、BedrockでLuma Ray 2が近日公開されると発表されました。
Luma Ray 2はテキストや画像の入力から、高品質でリアルな動画を迅速に生成するために設計された、Luma AIの最新かつ最先端のAIモデルとなっています。
- DevIO
- プレスリリース
- サービスページ
Amazon Bedrock Marketplaceの発表により、Bedrock上で3rd Partyのモデルが利用可能に
Bedrock Marketplaceは従来提供されていたAnthropic、Cohere、Metaなどの主要ベンダーに加えて、Bedrock上で3rd Partyのモデルを利用できる機能です。
モデルはModel Catalogから探して選択することができ、モデルごとにデプロイ方法が異なりますが、元々SageMaker Jumpstartで使えていたようなLLMは、SageMakerのエンドポイントとしてデプロイ可能なようで、自分だけのインスタンスに大規模言語モデルがデプロイできるようになっています。従来からBedrockにあったClaudeなどはProvisioned Throughputがデプロイオプションとなっており、ここは従来通りでした。
これに伴ってSageMakerの推論エンドポイントが、Marketplaceと互換性がある場合はBedrock側のRegisterして使用することも可能です。
また、これらのデプロイしたモデルがConverse APIと互換性があるモデルの場合は、Amazon Bedrock Agents、Amazon Bedrock Knowledge Basesなどの周辺機能と統合できる部分もポイントです。
- DevIO
- What's New
- AWS Blog
AWS AI Service Cardsの更新され、いくつかのモデルが追加
AWS AI Service Cardsは、責任ある方法でサービスを構築するための包括的な開発プロセスの一部で、モデルの透明性を提供します。
こちらのNovaシリーズやTitanシリーズが追加されています。
- What's New
- AWS Blog
生成AI・機械学習 (Bedrockプロンプト)
Amazon Bedrockがプロンプト・キャッシングをサポート (Preview)
プロンプト・キャッシングは、複数のAPIコールで頻繁に使用されるプロンプトをキャッシュすることで、サポートされるモデルのコストを最大90%削減し、レイテンシを最大85%削減できる新機能です。
Converse APIなどでリクエストにcachePointを設定するとキャッシュを利用することが可能で、レスポンスのusage情報からキャッシュの読み込みトークン数と書き込みトークン数を得ることができます。
キャッシュには5分間のTTL（Time To Live）があり、キャッシュヒットが成功するたびにリセットされ、キャッシュされたトークンは、通常の入力トークンよりも90%割引されるためコストを削減することができます。
プロンプト・キャッシングのサポートは、AnthropicのClaude 3.5 Sonnet V2とClaude 3.5 Haikuで、米国西部（オレゴン州）でプレビュー利用可能です。
また、Amazon Nova Micro、Amazon Nova Lite、Amazon Nova Proの米国東部（バージニア州北部）でも利用可能です。
- DevIO
- What's New
- AWS Blog
Amazon BedrockでIntelligent Prompt Routingが発表 (Preview)
Intelligent Prompt Routingにより、同じモデルファミリーの基盤モデルを組み合わせて使用して、プロンプトの複雑さに応じてより適切な基盤モデルにルーティングし、品質とコストを最適化できるようになります。
例えば、AnthropicのClaudeモデルファミリーの場合、Claude 3.5 SonnetとClaude 3 Haikuの間でリクエストをルーティングさせることが可能です。
Intelligent Prompt Routingは、高度なプロンプトマッチングとモデル理解技術を使用して、リクエストごとに各モデルのパフォーマンスを予測し、応答の品質とコストを最適化しています。
現在はAnthropicのClaudeとMeta Llamaシリーズでこの機能を利用できます。
- DevIO
- What's New
- AWS Blog
生成AI・機械学習 (Bedrock Knowledge Bases)
Amazon Kendra GenAI Indexの発表
Amazon Kendraはインテリジェントなエンタープライズ検索サービスであり、組み込みのコネクタを使用してさまざまなコンテンツリポジトリを横断して検索することができます。
Amazon Kendra GenAI Indexは、RAGとインテリジェント検索用に設計されたAmazon Kendraの新しいインデックスで、高度なセマンティックモデルと最新の情報検索技術を使用して、高い検索精度を提供します。
Amazon Bedrock Knowledge Basesやその他のAmazon Bedrockツールと統合してRAGを搭載したデジタルアシスタントを作成したり、Amazon Q Businessと統合してフルマネージドデジタルアシスタントソリューションとして使用することが可能です。
例えば、従来はKnowledge Base作成時にvector storeのみが選択できましたが、このアップデートでKendra GenAI Indexが選択できるようになっています。
元々はEnterprise EditionとDeveloper Editionのみでしたが、新しくGenAI Enterprise Editionが追加されており、価格も従来より抑えられていそうです。
- DevIO
- What's New
- AWS Blog
- サービスページ
Amazon Bedrock Knowledge Basesが構造化データに対する検索をサポート (Preview)
この機能は、データベースやデータウェアハウスの自然言語クエリを可能にする機能です。
例えば、ビジネスアナリストが "前四半期の売れ筋商品は何か？"と尋ねると、システムは自動的にAmazon Redshiftデータベースに格納されているデータウェアハウスに対して適切なSQLクエリを生成して実行します。
このSQLは複数テーブルにわたって実行が可能で、正確なSQLクエリを生成するために、データベーススキーマ、以前のクエリ履歴、およびデータソースについて提供されるその他のコンテキスト情報を活用するとのことで、Descriptionなどの情報だけでなく様々な情報を活用しているようです。
従来はKnowledge Base作成時にvector Storeのみが選択できましたが、このアップデートでstructured data storeが選択でき、そのクエリエンジンとしてAmazon Redshiftを選択することで使用できます。
- DevIO
- What's New
- AWS Blog
Amazon Bedrock Knowledge BasesがGraphRAGをサポートしました (Preview)
GraphRAGは、グラフデータベースと組み合わせたRAGテクニックを使用することで、より正確で包括的な回答をエンドユーザーに提供します。
この機能はvector storeの一種として提供され、従来Vector DatabaseとしてはOpenSearch ServerlessやAudora Serverless(PostgreSQL)を選択で来ていましたが、これに加えてNeptune Analyticsを選択することが可能です。
Neptune Analyticsを選択することで、わずか数ステップでGraphRAGを有効にすることが可能となります。
- DevIO
- What's New
- AWS Blog
Amazon Bedrock Knowledge Basesがデータソースをパースする際に、マルチモーダルなパース処理をすることが可能に
Bedrock Knowledge Basesは画像、チャート、ダイアグラム、表などのテキストデータとビジュアルデータの両方を処理することが可能になりました。
最新のアップデートでBedrock Data Automationを使用してこのような高度なドキュメント解析が実現できるようになりましたが、データソースのparserとしてこのBedrock Data Automationを使用することができます。
また、それに加えて基盤モデルを使ったparserも選択することができ、こちらはAnthropicのClaude 3.5 Sonnetがパーサーとしてサポートしています。
こちらはキーノートでは紹介されませんでしたが、同日にアップデートとしてアナウンスされています。
- What's New
- AWS Blog
Amazon Bedrock Data Automationによりドキュメント・画像・音声・動画などのデータからインサイトを得ることが可能に (Preview)
Bedrock Data Automation(BDA)は、ドキュメント・画像・音声・動画などの非構造化マルチモーダルコンテンツから価値ある洞察を抽出するフルマネージド機能となっており、動画の要約は高度なテキスト分析などが可能です。
公式ブログの例では、複雑なテキストや構造を持つPDFデータからデータを抽出したり、キーノートの動画を題材にして動画をシーンごとにサマライズした書き起こしデータを出力する例などが紹介されていました。
- DevIO
- What's New
- AWS Blog
生成AI・機械学習 (Bedrock Guardrails)
Amazon Bedrock Guardrailsが画像コンテンツのマルチモーダル毒性検出をサポート (Preview)
Bedrock Guardrailsは、望ましくないコンテンツをフィルタリングし、個人を特定できる情報(PII)を再編集し、コンテンツの安全性とプライバシーを強化することで、生成AIのセーフガード機能を提供していました。
今回の発表により、ヘイト、侮辱、性的、暴力などのカテゴリにわたる有害な画像コンテンツを検出してブロックできるようになりました。
具体的にはテキストのコンテンツフィルタ設定のstepにおいて、画像のチェックボックスをカテゴリごとに有効にすることができます。
- DevIO
- What's New
- AWS Blog
生成AI・機械学習 (SageMaker HyperPod)
Amazon SageMaker HyperPod flexible training plansがGAし、大規模なMLモデルの柔軟なトレーニングが可能に
SageMaker HyperPodはre:Invent 2023で発表された、生成AIなどの大規模なモデルを並列分散トレーニングするためのサービスです。
HyperPodでflexible training plansというものが使用可能になりました。
使用には、特定の期間または複数の期間であらかじめクラスタを使用する計画を作成し、前払いでインスタンスの料金を支払います。
作成されたプランにあらかじめジョブを割り当てて処理をさせることが可能で、複数の期間がある場合はSageMaker AIのManaged Spot Training同様に、自動で中断して再開するなども可能です。
この機能は、ml.p4d.48xlarge, ml.p5.48xlarge, ml.p5e.48xlarge, ml.p5en.48xlarge, ml.trn2.48xlargeと大きなインスタンスをサポートしています。
- DevIO
- What's New
- AWS Blog
Amazon SageMaker HyperPod task governanceがGAし、リソースの割り当てにガバナンスを効かせることが可能に
HyperPodでtask governanceという機能が使えるようになりました。
こちらは、コンピュートリソースの割り当てを完全に可視化および制御を実現するもので、最も重要なタスクに優先順位を付け、コンピュートリソースの利用率を最大化し、モデル開発コストを最大40%削減することができます。
監視機能として従来はGrafana等の準備が必要でしたが、主要なメトリクスがコンソールで確認できるようになっています。また、必要に応じてAmazon CloudWatch Container InsightsまたはAmazon Managed Grafanaとも統合できます。
加えてクラスターポリシーを使って、リソースの割り当てにガバナンスを持たせることができます。
- DevIO
- What's New
- AWS Blog
Amazon SageMaker HyperPod recipesの発表し、トレーニングスタックによる学習の迅速な開始が可能に
Amazon SageMaker HyperPod recipesを使用すると、最先端のパフォーマンスで、一般公開されている基盤モデル (FM) のトレーニングやファインチューニングを数分で開始できます。
レシピにはAWSによってテストされたトレーニングスタックが含まれているため、さまざまなモデル構成を試す退屈な作業がなくなり、評価とテストを何週間も繰り返す必要がなくなります。
レシピは、トレーニングデータセットのロード、分散トレーニング技術の適用、障害からの迅速な復旧のためのチェックポイントの自動化、エンドツーエンドのトレーニングループの管理など、いくつかの重要なステップを自動化します。
こちらはキーノートでは紹介されませんでしたが、同日にアップデートとしてアナウンスされています。
- What's New
- AWS Blog
生成AI・機械学習 (SageMakerその他)
Amazon SageMaker Partner AI Appsを発表、プロバイダーのアプリがStudioで使用可能に
この新機能は、SageMaker AIに主要なアプリプロバイダーの機械学習（ML）および生成AI（GenAI）アプリケーションを安全に容易に発見、導入、利用を実現します。
従来SageMaker内のアプリケーションというと、JupyterLabやCodeEditor、MLflowなどOSSベースのものをAWSが提供してくれていましたが、今回その幅が広がった感じとなっています。
具体的に導入可能なアプリは以下の４つとなっています。
- Comet: AIモデル開発のための実験を追跡、視覚化、管理
- Deepchecks: AIモデルの品質とコンプライアンスを評価
- Fiddler: 生産中のAIモデルを検証、監視、分析、改善
- Lakera: プロンプト攻撃、データ損失、不適切なコンテンツなどのセキュリティ脅威からAIアプリケーションを保護
これらのアプリケーションは、SageMaker AIおよびSageMaker Unified Studioから使用することができます。
- DevIO
- What's New
- AWS Blog
生成AI・機械学習 (Amazon Q)
Amazon Q DeveloperをSageMaker Canvasに統合 (Preview)
Amazon Q DeveloperをSageMaker Canvasに統合し、Q Developerを使用して、自然言語を使ってMLモデルを構築することができます。
- DevIO
- What's New
- AWS Blog
Amazon Q DeveloperがSWE Benchベンチマークでトップに
Amazon Q DeveloperはSWE Benchでトップになりました。
SWE-benchは、GitHubから収集した実世界のソフトウェア問題に対する大規模言語モデルの評価のためのベンチマークです。
アナリティクス
Amazon Q in QuickSightの新しいシナリオ分析機能が発表 (Preview)
シナリオ分析機能は、対話的に分析処理を進めることが可能な機能で、入力データの設定から始まり、対話形式でステップ・バイ・ステップで一時的な分析ビューを作成しながらアドホックな分析を進めることが可能です。
- DevIO
- What's New
- AWS Blog
その他
AWS Education Equity Initiativeを通じて、恵まれない環境の学習者の教育を促進
AWS Education Equity Initiativeを通じて、世界中の十分な教育を受けていない学習者のアクセスを拡大するデジタル学習ソリューションを開発する組織に対して、クラウド技術と技術支援を5年間提供することを発表しました。
- DevIO
- What's New
- AWS Blog
AWS MarketplaceはBuy with AWSを発表し、Marketplaceで利用可能な製品のAWSパートナーのウェブサイト上での発見と調達を加速
Marketplaceは、パートナーからのクラウドソリューションを検索、購入、デプロイ、管理するためのデジタルストアです。
Buy with AWSは、AWS Marketplaceが、必要な時に、必要な場所で、適切なパートナーソリューションを簡単に見つけて調達できるようにするためのもう一つのステップで、Marketplaceの販売者が、AWSのブランディング要素と共に、自身のウェブサイトにコールトゥアクションボタンを表示することを可能にします。
これにより、簡素化された共同ブランドのAWS Marketplaceでの購買体験を顧客に提供します。
- DevIO
- What's New
- AWS Blog
Amazon Security Lake Ready Specializationの発表
Amazon Security Lakeと統合するためのソフトウェアソリューションを技術的に検証し、顧客導入の成功を実証したAWSパートナーを認定する、新しいAmazon Security Lake Ready Specializationを発表しました。
- What's New
- AWS Blog
AWS Digital Sovereignty Competencyの紹介
AWS Digital Sovereignty Competencyは、お客様が主権とコンプライアンス要件に対処するのを支援する深い経験を含む、高度な主権機能とソリューションを持つAWSパートナーのコミュニティをキュレーションし、検証します。
AWS Security Competencyを更新、AIセキュリティを追加
AWS Security Competencyに新しいAIセキュリティカテゴリを導入し、AI環境のセキュリティ確保や、高度な脅威や攻撃に対するAIワークロードの防御に深い経験を持つAWSパートナーを顧客が容易に特定できるようになりました。
- What's New
- AWS Blog
AWS Partner CentralはPartner Connectionsで複数パートナーとの協業を開始 (Preview)
AWS Partner CentralはPartner Connectionsのプレビューを発表しました。
Partner Connectionsは、AWS Partnerが他のPartnerを発見し、接続することで、共有する顧客オポチュニティに関するコラボレーションを可能にする新機能です。
- What's New
- AWS Blog
まとめ
いかがでしたでしょうか。12/04のキーノートでは、機械学習エンジニアとしても嬉しい細かくて効くアップデートが多数ありましたね！明日以降の発表にも期待が高まります。
本記事がみなさまのお話のネタになれば幸いです。
![[レポート]AWSのデータ取り込み戦略 - Solving different data ingestion use cases with AWS (ANT330) #AWSreInvent](https://images.ctfassets.net/ct0aopd36mqt/3IQLlbdUkRvu7Q2LupRW2o/edff8982184ea7cc2d5efa2ddd2915f5/reinvent-2024-sessionreport-jp.jpg)
